%%\subsection{Прогнозирование общей линейной модели.}
%%
%%Предполагаем, что она обратима.
%%\begin{gather*}
%%\varepsilon_t=\pi(B)X_t=\pi_t-\pi_1X_{t-1}-\pi_2X_{t-2}-\ldots\\
%%X_t=\left\{\pi_1X_{t-1}+\ldots+\pi_kX_{t-k}+\ldots\right\}+\varepsilon_t=X_t^*+\varepsilon_t
%%\end{gather*}
%%Заметим, что белый шум прогнозировать не можем. Строим следующий прогноз на $k$ шагов вперёд
%%\begin{gather*}
%%X_t^*(k)=\mathbb{E}(X_{t+k}\,|\,X_\tau;\,\tau\leqslant t)\\
%%X_{t+k}=\sum\limits_{j=0}^{+\infty}\psi_j\varepsilon_{t+k-j}=\sum_{j=0}^{k-1}\psi_j \varepsilon_{t+k-j}+\sum\limits_{j=0}^{+\infty}\psi_j\varepsilon_{t+k-j}
%%\end{gather*}
%Берём условное мат. ожидание:
%\begin{gather*}
%\mathbb{E}(X_{t+k}\,|\,X_\tau,\,\tau\leqslant t)=\sum\limits_{j=0}^{k-1}\psi_j\mathbb{E}
%(\varepsilon_{t+k-j}\,|\,X_\tau)+\sum\limits_{j=k}^{+\infty}\psi_j\mathbb{E}
%(\varepsilon_{t+k-j}\,|\,X_\tau,\,\tau\leqslant t)=\\
%=\sum\limits_{j=k}^{+\infty}\psi_j
%\varepsilon_{t+k-j}\\
%\end{gather*}
%Ошибка прогноза есть
%\begin{gather*}
%e_t=X_{t+k}-X_t(k)=\sum\limits_{j=0}^{k-1}\psi_j\varepsilon_{t+k-j}\\
%\mathbb{D}e_t=\left(1+\psi_1^2+\ldots+\psi_{k-1}^2\right)\cdot\sigma_\varepsilon^2\\
%X_t=\Phi_1X_{t-1}+\ldots+\Phi_pX_{t-p}+\varepsilon_t
%\end{gather*}
%Прогноз на один шаг вперед, прогноз $X_t:$
%$$
%X_{t-1}^*(1)=\Phi_1X_{t-1}+\ldots+\Phi_pX_{t-p}
%$$
%Прогноз на два шага вперед, прогноз $X_{t+1}:$
%$$
%X_{t-1}(2)=\Phi_1X_{t-1}^*(1)+\Phi_2X_{t-1}+\ldots+\Phi_pX_{t-p+1}
%$$

%Теперь рассмотрим прогнозирование процесса \textbf{авторегрессии порядка 1,} $AP(1).$ Здесь
%имеем:
%\begin{equation*}
%\begin{aligned}
%X_t^*(1)&=\Phi X_{t}\\
%X_t^*(2)&=\Phi X_t^*(1)=\Phi^2X_t\\
%\ldots &\\
%X_t^*(k)&=\Phi^kX_t
%\end{aligned}
%\end{equation*}

%Прогнозирование процесса \textbf{скользящего среднего порядка} $q.$ Рассмотрим несколько
%случаев:

1) Знаем бесконечно много элементов: $X_\tau,\,\tau<t.$ Тогда имеем:
%\begin{equation*}
%\begin{aligned}
%&\Psi_j=-Q_j,\;j=1\ldots q,\;\;\Psi_j=0,\,j>q\\
%&X_t^*(k)=\left\{
%	\begin{aligned}
%		-&(Q_k\varepsilon_t+\ldots+Q_q\varepsilon_{t+k-q}),\; k\leqslant q\\
%		&0,k>q
%	\end{aligned}
%\right.\\
%&X_{t+k}=-Q_1\varepsilon_{t+k-1}-\ldots-Q_q\varepsilon_{t+k-q}+\varepsilon_t
%\end{aligned}
%\end{equation*}
При $q=1$ имеем:
\begin{equation*}
\begin{aligned}
	X_t^*(1)&=-Q\varepsilon_t,\;\;\;X_t^*(k)=0,\;k>1\\
	X_{t+1}&=\varepsilon_{t+1}-Q\varepsilon_t=(1-QB)\varepsilon_{t+1}\\
	\varepsilon_{t+1}&=(1-QB)^{-1}X_{t+1}=\left(1+\sum\limits_{j=1}^{+\infty}Q^jB^j\right)X_{t+1}= X_{t+1}+\sum\limits_{j=1}^{+\infty}Q^jX_{t-j}
\end{aligned}
\end{equation*}
Таким образом, прогноз имеет вид:
$$
X_t^*(1)=-QX_t-Q^2X_{t-1}-\ldots-Q^kX_{t-k}-\ldots
$$

2) Если знаем конечное число элементов временного рядя: $X_{t-1}\ldots X_{t-n}.$ Тогда прогноз
в момент времени $t$ используя $n$ предыдущих элементов временного рядя записываем как:
$$
X_{tn}^*=\sum\limits_{j=1}^n\beta_{jn}X_{t-j}
$$
Коэффициенты $\beta_{jk}$ называются весовыми коэффициентами. Их находим из условия
$$
\sum\limits_{k=1}^n\mathbb{E}\left(X_t-\sum\limits_{j=1}^k\beta_{jk}X_{t-j}\right)^2\rightarrow
\min
$$
Для удобства обозначим $X_{tk}^*=\sum\limits_{j=1}^k\beta_{jk}X_{t-j}.$ То есть устремляя сумму
выше на минимум мы минимизируем сумму квадратов ошибок оценок $X_{tk},\;k=1,2,\ldots,n.$
Как оказывается, такая задача эквивалентна совокупности $n$ задач:
$$
\mathbb{E}\left(X_t-\sum\limits_{j=1}^k\beta_{jk}X_{t-j}\right)^2\rightarrow\min,\hspace{1cm}
k=1,2,\ldots,n
$$
Решая эти задачи минимизации, получаем следующие выражения для параметров $\beta_{k,j}:$
$$
\beta_{kj}^*=\sum\limits_{i=1}^kR^{ij}R(i),
$$
где $R^{ij}\;\;-$элементы обратной матрицы к матрице
\begin{equation*}
\mathbb{R}(n)=
\begin{pmatrix}
R(0)&\ldots&R(n)\\
\vdots&\ddots&\vdots\\
R(n)&\ldots&R(0)\\
\end{pmatrix}
\end{equation*}

Рассмотрим коэффициенты вида
\begin{equation}\label{koef}
    \beta^*_{nj}=\sum^n_{i=1}R^{ij}R(i),
\end{equation}
где $R^{ij}$-элемент матрицы, обратной к матрице корреляций, то
есть $\|R^{ij}\|=R^{-1}(n)$. По теореме, коэффициенты,
определенные как (\ref{koef}), будут минимизировать дисперсию
ошибки, получающейся в результате прогнозирования временного ряд,
то есть
\begin{equation}\label{koef_1}
    \left\{%
\begin{array}{ll}
    X_{n+1}=\sum_{j=1}^n\beta_{nj}X_{t-j},\\
    \min_{\beta_{n_1},...,\beta_{nn}}\left\{\textbf{E}\left(X_t-\sum_{j=1}^n\beta_{nj}X_{t-j}\right)\right\}=\textbf{E}\left(X_t-\sum_{j=1}^n\beta_{nj}X_{t-j}\right)
\end{array}%
\right.
\end{equation}
Если в процесс добавится еще одно наблюдение, то нужно будет
установить аналогичным образом процедуру пересчета
$$
\beta^*_{n1},...,\beta^*_{nn}\rightarrow \beta^*_{n+1,1},...,\beta^*_{n+1,n+1}
$$
\\
\textbf{\emph{Пример 1.}}(СС(1))\\
Рассмотрим процесс CC(1) и по $n$ наблюдениям получим оценки
\begin{equation}\label{R_estim}
    \left\{%
\begin{array}{ll}
    R(0)=(1+Q^2)\sigma^2_{\epsilon},& \hbox{$k=0$,}\\
    R(1)=-Q\sigma^2_{\epsilon},& \hbox{$k=1$,}\\
    R(k)=0, & \hbox{$k\geq 2$.}
\end{array}%
\right.
\end{equation}
Матрица корреляций будет трехдиагональной
$$R(n)=
\left(%
\begin{array}{cccc}
  R(0) & R(1) & ... & 0 \\
  R(1) & R(0) & ... & 0 \\
  ... & ... & ... & R(1) \\
  0 & ... & R(1) & R(0)
\end{array}%
\right)
$$
Поэтому находим, что $\beta^*_{nj}=R^{1j}R(1)$. По определению и
свойствам матрицы
$$
R^{1j}=(-1)^{j+1}R^{j-1}(1)\frac{\triangle_{n-j}}{\triangle_n},
$$
где $\triangle_n=\det(R(n))$. Тогда
\begin{equation}\label{koef_cc1}
    \beta^*_{nj}=(-1)^{j+1}R^j(1)\frac{\triangle_{n-j}}{\triangle_n}=-Q^j\frac{\triangle^{'}_{n-j}}{\triangle^{'}_n}
\end{equation}
Здесь штрих означает, что выражение вычисляется при условии того,
что дисперсия белого шума равна единице.\\
Запишем прогноз через $n$ предыдущих значений
\begin{equation}\label{prognoz}
    X^*_{tn}=\sum_{j=1}^n
    -Q^j\frac{\triangle^{'}_{n-j}}{\triangle^{'}_n}X_{t-j}
\end{equation}
Теперь, учитывая (\ref{R_estim}), процедуру разложения матрицы
$R(n)$ по первой строке представим в виде разностного уравнения с
соответствующими стартовыми(начальными) условиями
\begin{equation}\label{rec}
    \left\{%
\begin{array}{lll}
    \triangle^{'}_n=(1+Q^2)\triangle^{'}_{n-1}=Q^2\triangle^{'}_{n-2},  \\
    \triangle^{'}_0=1, \\
    \triangle^{'}_1=1+Q^2 \\
\end{array}%
\right.
\end{equation}
Тогда можем прийти к следующему выражению для определителя
\begin{equation}\label{det}
    \triangle^{'}_n=\frac{1-Q^{2(n+1)}}{1-Q^2},
\end{equation}
которое доказывается по индукции, и прогноза
\begin{equation}\label{prognoz_1}
    X^{*}_{tn}=-\sum_{j=1}^n
    Q^j\frac{1-Q^{2(n-j+1)}}{1-Q^{2(n+1)}}X_{t-j}
\end{equation}
Запишем ошибку прогноза. По теореме
\begin{equation}\label{err}
    \delta^2(n)=\frac{|R(n+1)|}{|R(n)|}=\frac{(\delta^{2}_{\epsilon})^{n+1}\triangle^{'}_{n+1}}{(\delta^{2}_{\epsilon})^{n}\triangle^{'}_{n}}=\delta^2_{\epsilon}\frac{\triangle^{'}_{n+1}}{\triangle^{'}_{n}}=\delta^{2}_{\epsilon}\frac{1-Q^{2(n+2)}}{1-Q^{2(n+1)}}
\end{equation}
Получили, что при $n\rightarrow \infty$ ошибка сходится к
дисперсии, то есть $\delta^2(n) \rightarrow
\delta^2_{\epsilon}$.\\
Найдем теперь оценки ошибки
\begin{equation}\label{err_est}
\delta^2(n)=\delta^2_{\epsilon}\frac{\triangle^{'}_{n+1}}{\triangle^{'}_{n}}=\frac{(1+Q^2)\triangle^{'}_{n}-Q^2\triangle^{'}_{n-1}}{\triangle^{'}_n}\leq
(1+Q^2)\delta^2_{\epsilon}
\end{equation}
Это есть наихудшая оценка в том смысле, что
$$
\delta^2_{\epsilon}\leq\delta^2(n)\leq (1+Q^2)\delta^2_{\epsilon}
$$
Второй способ получения оценки базируется на принципе обратного
прогнозирования, то есть, если мы имеем $n$ наблюдений
$X_1,...,X_n$ и учитывая симметричность автокорреляционной функции
и стационарность процесса, можем найти $X_{n+1}$ и $X_0$, что
соответствует прямому и обратному времени.\\
Прямое время
\begin{equation}\label{direct}
    X^*_{n+1,n}=-QX_n-Q^2X_{n-1}-...-Q^nX_1-Q^{n+1}X^*_{0n}\\
\end{equation}
Обратное время
\begin{equation}\label{inv}
X^*_{0n}=-QX_1-Q^2X_{2}-...-Q^{n+1}X^*_{n+1,n}\\
\end{equation}
Подставляя (\ref{inv}) в (\ref{direct}) получим (\ref{prognoz_1}).
Данный способ получения оценки пока носит эвристический
характер.\\\\
\emph{\textbf{Пример 2.}}(АРСС(p,q)) \\
Нас будет интересовать условное математическое ожидание, которое и
будет оптимальным прогнозом.
\begin{equation}\label{hz}
    X_{t+k}=\Phi_1X_{t+k-1}+...+\Phi_pX_{t+k-p}-Q_1\epsilon_{t+k-1}-...-Q_q\epsilon_{t+k-q}+\epsilon_{t+k}
\end{equation}
Выражение
$$
X_{t+k}-\epsilon_{t+k}=\Phi_1X_{t+k-1}+...+\Phi_pX_{t+k-p}-Q_1\epsilon_{t+k-1}-...-Q_q\epsilon_{t+k-q}
$$
можем использовать в качестве прогноза.\\
Введем обозначения
$$
[X_{t+j}]_t=\left\{%
\begin{array}{ll}
    X^*_t(j), & \hbox{$j\geq1$;} \\
    X_{t+j}, & \hbox{$j<0$.} 
\end{array}%
\right.
$$
и
$$
[\epsilon_{t+j}]_t=\left\{%
\begin{array}{ll}
    0, & \hbox{$j\geq1$;} \\
    \epsilon_{t+j}, & \hbox{$j<0$.} 
\end{array}%
\right.
$$
где $X^*_t(j)$-прогноз, а $X_{t+j}$-значение процесса.\\
 Тогда,если $k>q$, и мы хотим прогнозировать на $k$ шагов вперед, получим
\begin{equation}\label{pr}
    X^*_t=\Phi_1[X_{t+k-1}]_t+...+\Phi_p[X_{t+k-p}]_t
\end{equation}\\
Если $k\leq q$, то
\begin{equation}\label{pr_1}
X^*_t(k)=\Phi_1[X_{t+k-1}]_t+...+\Phi_p[X_{t+k-p}]_t-Q_k\epsilon_t-...-Q_q\epsilon_{t+k-q}
\end{equation}
\emph{\textbf{Пример 2'.}}(АРСС(1,1)) \\
Запишем прогноз на один шаг вперед
$$
X^*_t(1)=\Phi X_t-Q\epsilon_t
$$
Мы знаем $X_t$ и $\epsilon_t$, тогда
$$
X_{t+1}=\Phi X_t-Q\epsilon_t+\epsilon_{t+1}
$$
При $k\geq2$ получим
$$
X^*_t(k)=\Phi X^*_t(k-1)
$$
Здесь можем увидеть, что
$$
X^*_t(k)=\Phi^{k-1}X^*_t(1)=\Phi^k(X_t-\frac{Q}{\Phi}\epsilon_t)=\{\epsilon_t=X_t-X^*_{t-1}(1)\}
((1-\frac{Q}{\Phi})X_t+\frac{Q}{\Phi}X^*_{t-1}(1))
$$
где
$$
(1-\frac{Q}{\Phi})X_t+\frac{Q}{\Phi}X^*_{t-1}(1)=X^*_{t}(1)
$$


Пусть даны все $X_\tau, \tau \le t$. Необходимо спрогнозировать
$X_{t+k}$.
\begin{enumerate}
 \item Разностная схема
 $$
 X_{t+k} = \psi_1 X_{t+k-1} + \ldots + \psi_{p+d} X_{t+k-p} - Q_1\varepsilon_{t+k-1}-\ldots-Q_q\varepsilon_{t+k-q} + \varepsilon_{t+k}
 $$
 Используя условное математическое ожидание
 $$
 [X_{t+j}]_t = \left\{
 \begin{array}{ll}
 X^*_t(j), & j \ge 1\\
 X_{t+j}, & j < 0
 \end{array}
 \right.,\quad
 [\varepsilon_{t+j}]_t =\left\{
 \begin{array}{ll}
 0, & j \ge 1\\
 \varepsilon_{t+j}, & j < 0
 \end{array}
 \right.,
 $$
 запишем
 $$
 X^*_t(k) = \psi_1 [X_{t+k-1}]_t + \ldots + \psi_{p+d} [X_{t+k-p-d}]_t \underbrace{-Q_k \varepsilon_t - \ldots -  Q_q\varepsilon_{t+k-q}}_{\mbox{присутствует, если }k<q}
 $$
 \item Через все предыдущие значения $\varepsilon_t$
 $$
 X_{t+k} = \sum_{j=0}^{\infty} \psi_j \varepsilon_{t+k-j} =
 \underbrace{\sum_{j=0}^{k-1}\psi_j \varepsilon_{t+k-j}}_{\mbox{ошибка}}\
 +\ \underbrace{\sum_{j=k}^{\infty} \psi_j \varepsilon_{t+k-j}}_{\mbox{прогноз}}
 $$
 $$
 X^*_t(k) = \sum_{j=0}^{\infty}\psi_{j+k}\varepsilon_{t-j},\ \
 e_t(k) = \sum_{j=0}^{k-1}\psi_j \varepsilon_{t+k-j}
 $$
 $$
 \vari\  e_t(k) = (1+\psi_1^2+\ldots+\psi_k^2)\sigma_\varepsilon^2
 $$
 \item Через предыдущие значения $X_t$
 $$
 X_{t+k} = \sum_{j=1}^{\infty}\pi_j X_{t+k-j} + \varepsilon_{t+k}
 $$
 $$
 X^*_t(k) = \sum_{j=1}^{\infty}\pi_j [X_{t+k-j}]_t = \sum_{j=1}^{k-1}\pi_j
 X^*_t(k-j) + \sum_{j=k}^{\infty}\pi_j X_{t+k-j}
 $$
 Причем в первой сумме используются найденные на предыдущем шаге
 прогнозы для $X_\tau, \tau = 1,\ldots,k-1$.
 $$
 X^*_t (1) = \sum_{j=1}^{\infty}\pi_j X_{t+1-j} =
 \{\mbox{переобозначим}\} = \sum_{j=1}^{\infty}\pi^{(1)}_j X_{t+1-j}
 $$
 $$
 X^*_t (2) = \pi_1 X^*_t(1) + \sum_{j=2}^{\infty}\pi_j X_{t+2-j} =
 \pi_1 \sum_{j=1}^{\infty}\pi^{(1)}_j X_{t+k-j} + \sum_{j=1}^{\infty}\pi_{j+1}
 X_{t+1-j} = \sum_{j=1}^{\infty}\pi^{(2)}_j X_{t+1-j};
 $$
 $$
 \pi^{(2)}_j = \pi_1 \pi^{(1)}_j + \pi_{j+1}, \ j=1,2,\ldots
 $$
 И в общем случае
 $$
 X^*_t(k) = \sum_{j=1}^{\infty}\pi^{(k)}_j X_{t+1-j}; \quad \pi^{(k)}_j = \pi_1 \pi^{(k-1)}_j + \pi_{j+1}, \
 j=1,2,\ldots
 $$
 Коэффициенты ряда убывают достаточно быстро. Поэтому на практике
 выбирается какое-то число $l$, и значения ряда, меньшие $l$,
 отбрасываются.
 \end{enumerate}

 {\bf Замечание 1.}
\rm Пусть построен прогноз $X_{t+k+1}$ по предыдущим
 значениям $X_t$ --- $X^*_t(k+1)$. Поступает новое наблюдение
 $X_{t+1}$, необходимо поправить этот прогноз.\\
 Для этого сравним два прогноза значения процесса в один и тот
 же момент времени: первый при отсутствии нового
 наблюдения, второй - при его наличии:
 $$
 X^*_t(k+1) = \sum_{j=k+1}^{\infty} \psi_j \varepsilon_{t+1+k-j}
 $$

 $$
 X^*_{t+1}(k) = \sum_{j=k}^{\infty} \psi_j \varepsilon_{t+1+k-j} =
 \psi_k \varepsilon_{t+1} + \sum_{j=k+1}^{\infty} \psi_j
 \varepsilon_{t+1+k-j} = \psi_k \varepsilon_{t+1} + X^*_t(k+1)
 $$
 То есть для того, чтобы поправить прогноз, нужно посчитать ошибку
 $$
 X_{t+1} - X^*_t(1) = \varepsilon_{t+1},
 $$
 домножить ее на $\psi_k$ и добавить к уже найденному прогнозу
 $X^*_t(k+1)$.
 $$
 X^*_{t+1}(k) = X^*_t(k+1) + \psi_k \varepsilon_{t+1}, \ \ k = 1,2,\ldots
 $$
 {\bf Замечание 2.} \rm Пусть $\varepsilon_t$ --- нормальный процесс
 $(0,1)$. Мы хотим спрогнозировать
 $$
 X_{t+k} \sim N(X^*_t(k), \vari\  e_t(k)), \ e_t(k) = X_{t+k} -
 X^*_t(k).
 $$
 Можем посчитать доверительный интервал:
 $$
 \prob (X^-_{t+k} < X_{t+k} < X^+_{t+k}) = \gamma, \ \gamma < 1
 $$
 $$
 X^\pm_{t+k} = X^*_t(k) \pm
 C_\gamma(1+\sum_{j=1}^{k-1}\psi_j)^\frac12 \sigma_\varepsilon
 $$
 Квантиль порядка $\gamma$ для нормального (симметричного)
 распределения считается так:
 $$
 C_\gamma = \Phi^{-1}\left(\frac{1+\gamma}{2}\right)
 $$
 \\

 АРПСС(0,1,1)
 \begin{enumerate}
 \item
 $$
 X^*_t(1) = X_t - Q\varepsilon_t
 $$
 $$
 X^*_t(k) = X^*_t(k-1), \ k \ge 2
 $$
 $$
 X_t = X^*_{t-1}(1) + \varepsilon_t \Rightarrow X^*_t(k) =
 X^*_t(k-1) + (1-Q)\varepsilon_t
 $$
 Пусть поступило новое наблюдение $X_t$, тогда
 $$
 \varepsilon_t = X_t - X^*_{t-1}(1), \ \ X^*_t(1) = (1-Q)X_t + Q
 X^*_{t-1}(1)
 $$
 \item
 $\psi_j = 1-Q$
 $$
 X^*_t(k) = (1-Q) \sum_{j=0}^{\infty} \varepsilon_t =
 (1-Q)S\varepsilon_t
 $$
 \item
 $$
 \pi_j = (1-Q)Q^{j-1}; j\ge 1
 $$
 В этом случае пересчет не нужен:
 $$
 \pi^{(k)}_j = \pi^{(1)}_j = \pi_j
 $$
 $$
 X^*_t(k) = X^*_t(1) = \sum_{j=1}^{\infty} \pi_j X_{t+1-j} = (1-Q)
 \sum_{j=1}^{\infty}Q^j X_{t-j}
 $$
 $$
 \overline{X}_t(Q) = (1-Q)\sum_{j=1}^{\infty}Q^j X_{t-j}; \ \
 (1-Q)\sum_{j=1}^{\infty}Q^j = 1
 $$
 Такое представление прогноза называется экспоненциальным
 сглаживанием.
 \end{enumerate}